Năm 1820, Công tước xứ Kent qua đời vì viêm phổi, trước 6 ngày so với Vua George III. Lúc này, Bà Công tước xứ Kent có thể trở về Coburg, vì bà không nói tiếng Anh, và cũng không được ưa thích ở triều đình Anh. Song, các anh trai của chồng bà là Vua George IV cùng Prince Frederick, Công tước xứ York đều lạnh lùng với vợ mình, và cả hai đều đã luống tuổi sinh nở. Công tước xứ Clarence, vẫn khó khăn trong việc sinh hạ người thừa kế hợp pháp, do đó Bà Công tước nhận thấy đây là cơ hội nếu đánh cược quyền kế vị của con gái mình cho ngai vàng Anh hơn là lặng lẽ sống ở Coburg, nên vẫn quyết định ở lại dù có chút vấn đề về tài chính do các khoản nợ của chồng bà.

Điều khoản từ triều đình Anh đưa ra nhằm giúp số nợ từ Công tước xứ Kent được chi trả, và Bà Công tước cùng con gái tiếp tục ở Cung điện Kensington cùng một số người họ hàng khác đang có vấn đề về tài chính. Bà nhận một lượng trợ cấp hạn chế từ Civil list, bởi vì Nghị viện vẫn còn không quên sự phung phí của Công tước xứ Kent quá cố. Lúc này, người thân thiết nhất với bà là Sir John Conroy, là một người từ Ireland và cùng tuổi với bà. Từ trước khi Công tước xứ Kent qua đời, triều đình đã có dị nghị mối quan hệ giữa hai người, và Nữ hoàng Victoria về sau cũng từng bị nghi vấn là con ruột của John Conroy hơn là Công tước xứ Kent, do chứng ưa chảy máu (haemophilia) đột ngột xuất hiện từ bà trở đi mà không thấy đối với những người nhà Hanover khác. Về tài chính, bà chủ yếu nhận trợ cấp từ em trai Leopold, với mức £50.000 mỗi năm. Đây là trích ngân từ những món trợ cấp khổng lồ từ Nghị viện Anh trong cuộc hôn nhân cũ giữa Leopold và Công chúa Charlotte, và tại thời điểm ấy, Leopold được nhìn nhận là Vương phu của Nữ vương tương lai. Sau khi Charlotte qua đời, những khoản chi trả này từ Nghị viện vẫn giữ nguyên cho Leopold mà không bị bãi bỏ[7].

Năm 1831, George IV qua đời, em trai ngay sau đó của ông là Công tước xứ York đã qua đời trước đó 4 năm, điều này khiến Công tước Clarence trở thành William IV. Lúc này, Tân vương đã 60 tuổi mà vẫn không có người thừa kế hợp pháp, người vợ là Adelaide đã qua 40 tuổi, một lứa tuổi có thể chắc chắn là không thể mang thai. Do đó, Victoria xứ Kent nhỏ bé cùng Bà Công tước ngay lập tức được xem là Trữ quân và nhiếp chính tương lai, điều này dẫn đến sự cải thiện đáng kể mức trợ cấp mà mẹ con bà nhận được từ chính phủ Anh. Vào thời điểm ấy, em trai của Bà Công tước là Leopold trở thành Quốc vương của Bỉ, khiến ông không còn nhận trợ cấp từ chính phủ Anh nữa, nên có thể nói sự thay đổi này của mẹ con Victoria là hiển nhiên.

Cùng một hoàn cảnh bị cô lập về khác biệt ngôn ngữ cùng văn hóa, John Conroy và Bà Công tước càng trở nên thân thiết, điều này khiến Conroy trở thành quản gia và điều phối chính tại Cung điện Kensington trong vòng 19 năm tiếp theo[8], bên cạnh đó Conroy cũng trở thành người quan trọng thay mặt và cố vấn bà trong các hoạt động ngoại giao và chính trị[9]. Không rõ ai mới là người chịu trách nhiệm cho [Hệ thống Kensington], song sự giáo dục và kiềm chế này đã ám ảnh cả cuộc đời Nữ hoàng Victoria về sau, khiến John Conroy và Bà Công tước bị Nữ hoàng xem là thù địch và tỏ ra chán ghét nhất. Mục đích của "hệ thống" này nhằm giả thiết Victoria lên ngôi khi còn trẻ, theo Đạo luật nhiếp chính năm 1830, với tư cách là mẹ của "Nữ vương" thì Bà Công tước sẽ nắm quyền nhiếp chính, như thế thì Conroy dưới sự ảnh hưởng lớn đến Bà Công tước sẽ nắm quyền lực đằng sau ngai vàng, và sẽ có quyền hành tuyệt đối.

Lúc này, John Conroy và Bà Công tước bị triều đình Anh đồn thổi là tình nhân, với người tung tin là Công tước xứ Cumberland[10], Vua William IV thậm chí còn chế giễu Conroy là [Vua Conroy], ám chỉ đến quan hệ quá mức "vợ chồng" của Bà Công tước và Conroy[11]. Vương hậu Adelaide, có tính nhu mì và hòa giải, thậm chí đã viết thư khuyên em dâu mình không nên tiếp tục trao cho Conroy quá nhiều quyền hạn[12][13]. Với Hệ thống Kensington, Victoria không được tùy tiện gặp gỡ ai mà không có sự đồng ý của Bà Công tước cùng John Conroy, trong thời gian ấy Victoria cũng không thể tùy tiện đọc những cuốn sách tri thức ngoài sự cho phép của hai người, và khi ngủ cũng như di chuyển cũng đều phải có người hộ tống. Hệ thống này được đánh giá là nhằm khiến khả năng tự lập và tư duy của Victoria bị tàn phá, và khiến Bà Công tước cùng John Conroy có quyền hạn ảnh hưởng vĩnh viễn lên Victoria cho dù có làm nhiếp chính hay không[14].

Bên cạnh đó, Bà Công tước rất khinh rẻ những đứa con hoang của Vua William IV, nhận xét nhà Vua như "một tên đần ám ảnh tình dục"[15] và khiến bà không thích phải dự vào triều đình của nhà Vua, điều này cũng khiến Victoria không thường xuyên gần gũi người bác này. Đây được xem là bên ngoài sự khinh ghét của Bà Công tước, còn có mục đích khiến Victoria không bị tác động nào quá lớn như nhà Vua[16]. Những ảnh hưởng của Bà Công tước và cái nhìn của bà với nhà Vua, được Công tước Wellington quy cho trách nhiệm về John Conroy[17]. Và dù bị xem là tiêu cực và đáng chỉ trích, song những điều này được cho là một sự tác động lớn hình thành [Đạo đức thời Victoria; Victorian morality], một loạt "cử chỉ" điển hình của Victoria về sau khi lẩn tránh và có chiều hướng không ưa những thị phi liên quan đến tình dục không thích hợp[18].